All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models
多数解释是一组正确解释的集合——用 LLM 代理工作流探索 Rashomon 解释集
🧭 LLM 代理生成解释 · Rashomon 解释集 ★ 深度解读
Scheller College of Business, Georgia Tech
将解释与预测耦合,通过 LLM 代理的“解释-预测-反思”循环生成多个忠实且有用的解释,在提升可解释性的同时提高了预测精度。
📌 工作参考价值(4 点)
- 生成解释集合而非单一解释:在电商推荐中,单一解释(如 SHAP 值)在分布偏移下容易失效,可以借鉴本工作的思路,对同一个物品/用户生成多组不同的解释(通过调整 prompt、特征子集采样),再用多数投票或语义聚合得到更稳健的解释,提升推荐理由的鲁棒性。
- 解释-预测-反思迭代循环:将解释生成与预测任务耦合,让解释 agent 根据预测误差自动修正解释内容(double-loop learning)。在广告 CTR 预估或搜索排序中,可仿照这个结构:一个 LLM 代理生成影响点击的因素解释,另一个代理基于解释做预测,反思代理根据错误修正解释——这种自改进循环可同步提升解释质量和模型效果。
- 将自然语言解释作为预测的输入特征:实验证实向预测模型提供高质量解释(即使是带噪声的解释)能显著降低误差。在推荐系统中,可以尝试将 LLM 生成的用户行为解释(如“用户在午后对低价商品点击率高”)作为特征加入深度模型或 LLM 预测器中,可能带来增益。
- 批处理 LLM 学习机制:针对大规模日志,通过数据分 batch 和设置哨兵行(data monitor)来防止长上下文退化,这为在十亿级推荐曝光日志上用 LLM 做解释和预测提供了工程参考。